Douyin Multimodal Embedding Model Technical Report
抖音多模态嵌入：兼顾效率与细粒度的语义充分性学习
🧭 多模态检索 · 语义充分性 ★ 深度解读
ByteDance Douyin Search Multimodal Team · Renmin University of China GSAI
通过隐证据推理与跨条件重构，使 bi-encoder 嵌入兼具细粒度语义充分性，在 MMEB-v2 和抖音搜索中取得显著增益
📌 工作参考价值（4 点）
- 两阶段训练范式：第一阶段大规模异构对比学习建立统一多模态空间，第二阶段用高质量数据 + 教师监督做语义充分性微调，可直接迁移到电商多模态搜索（商品图文视频检索）的模型升级路径。
- 隐式证据推理：通过少量 anchor tokens 定位证据区域、类型化隐状态（localize/align/ reject）组织推理，完全在隐藏空间完成，不产生显式 CoT 文本，保持在线召回低延迟，可用于电商 query 理解中的隐式意图定位与证据提取。
- 跨条件重构监督：利用 NTP/MTP 让 query 嵌入解码商品文本，反之亦然，提供 token 级细粒度监督，可强化搜索相关性建模，尤其适合电商场景中 query 与商品详情之间语义细节的精确匹配。
- 语义充分性度量：通过 teacher forcing 的 Top‑K 准确率量化嵌入的信息完整性，可替代或补充传统召回指标，作为模型优化和迭代的可靠中间信号。